Are extralinguistic signals such as image pixels crucial for inducing constituency grammars? While past work has shown substantial gains from multimodal cues, we investigate whether such gains persist in the presence of rich information from large language models (LLMs). We find that our approach, LLM-based C-PCFG (LC-PCFG), outperforms previous multi-modal methods on the task of unsupervised constituency parsing, achieving state-of-the-art performance on a variety of datasets. Moreover, LC-PCFG results in an over 50% reduction in parameter count, and speedups in training time of 1.7x for image-aided models and more than 5x for video-aided models, respectively. These results challenge the notion that extralinguistic signals such as image pixels are needed for unsupervised grammar induction, and point to the need for better text-only baselines in evaluating the need of multi-modality for the task.
translated by 谷歌翻译
PyTorch Adapt is a library for domain adaptation, a type of machine learning algorithm that re-purposes existing models to work in new domains. It is a fully-featured toolkit, allowing users to create a complete train/test pipeline in a few lines of code. It is also modular, so users can import just the parts they need, and not worry about being locked into a framework. One defining feature of this library is its customizability. In particular, complex training algorithms can be easily modified and combined, thanks to a system of composable, lazily-evaluated hooks. In this technical report, we explain in detail these features and the overall design of the library. Code is available at https://www.github.com/KevinMusgrave/pytorch-adapt
translated by 谷歌翻译
本文比较并对11种UDA验证方法进行排名。验证者估计模型的准确性，这使它们成为任何UDA火车测试管道的重要组成部分。我们对这些验证器进行排名，以指示其中哪些最有用的目的是选择最佳模型，检查点和超参数。此外，我们建议并比较新的有效验证器，并显着改进了现有验证器的版本。据我们所知，这项大规模的基准研究是UDA领域中的第一项。
translated by 谷歌翻译
我们提出了一个新的基准数据集，即Sapsucker Woods 60（SSW60），用于推进视听细颗粒分类的研究。尽管我们的社区在图像上的细粒度视觉分类方面取得了长足的进步，但音频和视频细颗粒分类的对应物相对尚未探索。为了鼓励在这个领域的进步，我们已经仔细构建了SSW60数据集，以使研究人员能够以三种不同的方式对相同的类别进行分类：图像，音频和视频。该数据集涵盖了60种鸟类，由现有数据集以及全新的专家策划音频和视频数据集组成。我们通过使用最先进的变压器方法进行了彻底基准的视听分类性能和模态融合实验。我们的发现表明，视听融合方法的性能要比仅使用基于图像或音频的方法来进行视频分类任务要好。我们还提出了有趣的模态转移实验，这是由SSW60的独特构造所涵盖的三种不同模态所实现的。我们希望SSW60数据集和伴随的基线在这个迷人的地区进行研究。
translated by 谷歌翻译
弱监督的对象本地化（WSOL）旨在学习仅使用图像级类别标签编码对象位置的表示形式。但是，许多物体可以在不同水平的粒度标记。它是动物，鸟还是大角的猫头鹰？我们应该使用哪些图像级标签？在本文中，我们研究了标签粒度在WSOL中的作用。为了促进这项调查，我们引入了Inatloc500，这是一个新的用于WSOL的大规模细粒基准数据集。令人惊讶的是，我们发现选择正确的训练标签粒度比选择最佳的WSOL算法提供了更大的性能。我们还表明，更改标签粒度可以显着提高数据效率。
translated by 谷歌翻译
利用在大规模图像文本对中预先训练的视觉和语言模型（VLM）成为开放式视觉识别的有希望的范式。在这项工作中，我们通过利用视频中自然存在的运动和音频来扩展这种范式。我们提出\ textbf {mov}，这是\ textbf {m} ult-imodal \ textbf {o} pen- \ textbf {v} ocabulary视频分类的简单而有效的方法。在MOV中，我们直接使用具有最小修改的预训练VLM的视觉编码器来编码视频，光流和音频频谱图。我们设计一种跨模式融合机制来汇总免费的多模式信息。 Kinetics-700和VGGSOUND的实验表明，引入流量或音频模态会带来预先训练的VLM和现有方法的大量性能增长。具体而言，MOV极大地提高了基础类别的准确性，而在新颖的课程上则更好地概括了。 MOV在UCF和HMDB零摄像视频分类基准上实现了最新结果，从而极大地超过了基于VLMS的传统零摄像方法和最新方法。代码和模型将发布。
translated by 谷歌翻译
我们按照用户指定的文本提示，以直观和语义的方式处理视频对象的任务。这是一项具有挑战性的任务，因为结果视频必须满足多个属性：（1）它必须在时间上保持一致并避免抖动或类似的工件，（2）结果的风格必须保留对象的全局语义及其细粒度的全局语义。详细信息，（3）必须遵守用户指定的文本提示。为此，根据两个目标文本，我们的方法在视频中对对象进行了修改。第一个目标文本提示说明了全局语义，第二个目标文本提示提示描述了本地语义。要修改对象的样式，我们利用剪辑的代表力，以在（1）本地目标文本和一组本地风格化视图之间获得相似性得分，以及（2）全局目标文本和一组风格化的全局视图。我们使用预估计的ATLA分解网络以时间一致的方式传播编辑。我们证明，我们的方法可以为各种对象和视频产生一致的样式变化，这些样式遵守目标文本的规范。我们还展示了如何改变目标文本的特异性并使用一组前缀增强文本会导致具有不同细节级别的样式化。在我们的项目网页上给出了完整的结果：https：//sloeschcke.github.io/text-driven-stylization-of-video-objects/
translated by 谷歌翻译
当前的Modus Operandi在改编预训练的模型中涉及更新所有骨干参数，即，完整的微调。本文介绍了视觉及时调整（VPT），作为视觉中大规模变压器模型的全面微调的有效替代方案。VPT从最近有效地调整大型语言模型的最新进展中汲取灵感，在输入空间中仅引入了少量的可训练参数（少于模型参数），同时保持模型骨架冻结。通过对各种下游识别任务的广泛实验，我们表明VPT与其他参数有效调整协议相比获得了显着的性能增长。最重要的是，在许多情况下，VPT甚至在模型能力和培训数据量表的许多情况下都胜过全面的微调，同时降低了每任务的存储成本。
translated by 谷歌翻译
我们呈现LSEG，这是一种用于语言驱动语义图像分割的新模型。 LSEG使用文本编码器来计算描述性输入标签（例如，“草”或“构建”）的嵌入式，以及基于变压器的图像编码器，该图像编码器计算输入图像的密度每个像素嵌入。图像编码器具有对比度目标，以将像素嵌入对准对应语义类的文本嵌入。文本嵌入式提供了一种灵活的标签表示，其中将语义相似的标签映射到嵌入空间中的类似区域（例如，“猫”和“毛茸茸”）。这允许LSEG概括到以前在测试时间的预先看不见的类别，而不会再培训或甚至需要单一的额外训练样本。我们展示了与现有的零点和少量拍摄语义分割方法相比，我们的方法实现了高竞争激烈的零射性能，甚至在提供固定标签集时符合传统分段算法的准确性。代码和演示可在https://github.com/isl-org/lang-seg获取。
translated by 谷歌翻译
神经网络分类器已成为当前“火车前的Fine-Tune”范例的De-Facto选择。在本文中，我们调查了K $ -Nearest邻居（K-NN）分类器，这是一种从预先学习时代的无古典无模型学习方法，作为基于现代神经网络的方法的增强。作为懒惰的学习方法，K-Nn简单地聚集了训练集中的测试图像和顶-k邻居之间的距离。我们采用k-nn具有由监督或自我监督方法产生的预训练的视觉表现，分为两个步骤：（1）利用K-NN预测概率作为培训期间容易\〜〜硬示例的迹象。 （2）用增强分类器的预测分布线性地插入k-nn。通过广泛的实验在广泛的分类任务中，我们的研究揭示了K-NN集成与额外见解的一般性和灵活性：（1）K-NN实现竞争结果，有时甚至优于标准的线性分类器。 （2）结合K-NN对参数分类器执行不良和/或低数据制度的任务特别有益。我们希望这些发现将鼓励人们重新考虑预先学习的角色，计算机愿景中的古典方法。我们的代码可用于：https：//github.com/kmnp/nn-revisit。
translated by 谷歌翻译